最新大数据24期

  • 大数据与云计算
    01-05 06:41
    大数据与云计算
    最新大数据24期 共十天高清视频教程 附课件源码(完结）
    课程目录： 大数据24期-01-JavaSE基础-15天 第一天： 01.什么是计算机软件链接 https://www.237fa.com/ 02.什么数据软件开发–利用编程语言来写剧本 03.什么是jdk–怎么安装jdk 03.什么是jdk–怎么安装jdk 04.安装启动eclipse 04.安装启动eclipse 05.配置eclipse的字体和布局 06.新建一个java的类的步骤 07.第一个java编程作品–HelloWorld 08.java中的变量定义和变量赋值语法 09.第一个java程序中的知识点梳理–终端输入–终端输出 10.第二个java编程作品–数字运算 11.第二个java作品所涉及的知识点–string转int–数字运算符 12.第二个java作品的扩展–加减乘除–float和double类型 13.逻辑判断控制语法–if-else的结构–字符串是否相等的比较方法equals 14.if语句中的条件其实是一个布尔值–或者布尔运算表达式的结果 第二天： 01.内容复习–作业题讲解 02.循环控制语法示例–将猜数字游戏改造成可以连续猜 03.循环控制语法–for循环 04.数组的应用案例–多门课程的总成绩和平均成绩计算 05.数组遍历案例–求最大值最小值 06.冒泡排序算法在数组上的实现 07.java的面相对象编程–类和对象的概念及基本使用 08.类和对象的基本使用演示 09.类和对象的使用示例2–商品类和商品信息管理 第三天： 01.变量定义重新梳理 02.数组中数据的操作方法 03.类和对象的梳理 04.java编程逻辑控制语法精髓 05.类中的构造方法定义及在创建对象时的使用方法 06.类和数组的综合练习–字符串切割 第四天： 01.集合数据类型arraylist的基本使用示例 02.关于导包的注意事项 03.关于arraylist和数组之间的区别 04.arraylist的脚标越界演示 05.arraylist中装自定义类型的数据演示 06.arraylist求最大值-排名前n个-以及方法的定义和使用 07.方法定义和使用的再次演示 08.各种方法的定义–方法参数–方法重载 09.排序和打印list的方法演示 10.排序方法练习错误解析–关于返回值 12.排序方法练习错误解析–关于如何调用方法 13.关于静态方法（类的方法）和成员方法（对象方法） 14.工具方法定义和使用练习讲解 15.订单类的模拟设计和订单对象创建测试 16.今日知识总复习梳理 第五天： 01.大型面向对象编程–LOL游戏英雄–建模需求 02.public和private的区别和深刻编程思想 03.LOL英雄面向对象建模的代码实现示范 04.自动售货系统的需求说明及菜单开发 05.tostring方法的作用和写法 06.商品管理功能类的开发–定义商品list–定义添加商品的方法–展现商品的方法 07.造商品数据-并完成商品展现功能 08.添加商品到购物车的功能类实现 09.打印购物车信息的方法实现 第六天： 01.到day05为止的所有知识总复习 02.购物系统的购物车功能完善 03.购物系统的购物车功能完善–再次补充-将查找商品信息的逻辑封装到商品管理器中 04.hashmap集合的基本特性–key–value 05.hashmap的最常用功能的使用示例 06.hashset的使用和迭代器的使用和增强for循环的使用 07.hashmap和hashset的应用练习 08.hashmap的应用练习2–找重名商品 第七天： 01.day06作业题讲解1-4 02.day06作业题讲解5 03.day06作业题讲解6 04.软件系统通用三层架构解释 05.自动售货系统的架构设计 06.面向对象编程中的–面向接口编程–接口的基本特性和使用 07.面向接口编程的示例2–用户登录注册系统开发–接口开发–界面开发 08.面向接口编程的示例2–业务层的实现–dao层的接口定义 09.面向接口编程的示例2–联调测试 10.模拟数据库Database类为何要将userMap修饰成public和static的原因 11.junit测试框架的基本使用 12.对象的构造过程–jvm先加载class–执行静态代码块–构造函数 13.day01-day07的语法知识梳理 14.考试题 第八天： 01.考试02讲解–基本题 02.考试02讲解–复杂题–service层实现 03.考试02讲解–复杂题–dao层实现 04.接口应用案例–通用排序工具开发 05.泛型参数的基本概念 06.利用泛型参数来开发一个更通用的排序工具–匿名内部类传递匿名对象的语法 07.jdk自带list排序工具Collections的用法 08.Collections排序工具的另一种用法-不传比较器而是让数据类自己实现compareTo方法 09.day08知识梳理 第九天： 01.java文件io体系之——File工具类使用 02.计算机中的信息编码机制 02.计算机中的信息编码机制 03.计算机对信息的存储机制总结梳理 03.计算机对信息的存储机制总结梳理 04.java-io体系最底层工具-字节流-FileInputStream文件输入流工具概念介绍 05.fileinputstream的最基本使用–逐个字节读取并转码 06.利用byte数组来让FileInputStream一次读取连续的多个字节 07.利用while循环和byte数组进行反复读取 08.利用FileInputStream来按行读取数据 09.利用bufferedreader来按文本数据读取文件 10.如何让bufferedreader正确读中文数据 11.课堂练习 12.课堂练习编码实现 13.阶段性知识梳理 14.fileoutputstream字节输出流的基本使用 15.bufferedwriter的基本使用–及如何指定编码集–字符串和数在写文件时的区别和联系 16.文件读写应用练习案例 第十天： 01.dataoutputstream和datainputstream的基本概念和使用 02.dataoutputstream和datainputstream的更多数据类型的读写 03.datastream的对象数据存取练习 04.序列化和反序列化的概念 05.利用objectoutputstream和objectinputstream来直接存取对象 06.利用objectstream来存取list-map等复杂类型对象 07.利用objectstream来模拟商品-订单数据管理练习 08.java中的异常处理基本概念 09.java中的异常处理知识点梳理和模板代码示例 10.继承语法的基本概念和使用方法 11.继承语法的基本概念之–方法重写 12.继承语法的模板代码和知识点梳理 13.抽象类的基本概念和使用 14.抽象类的知识梳理和模板代码 15.反射的基本概念和使用 16.反射结合面向接口编程实现一个简易框架 第十一天： 01.反射机制知识梳理 02.反射机制中的方法调用–方法应该在对象上调用 03.线上购物系统–概要设计–用户管理模块详细设计 04.dao层功能-添加用户实现及测试 05.用户管理模块dao层的功能全实现及测试 06.商品管理模块dao层的功能全实现 07.用户管理模块service层的功能实现实现 08.商品管理模块的交互层功能设计和service层功能设计 09.商品管理模块的service层接口定义 10.商品管理模块的dao层接口定义 11.商品管理模块的service层实现类开发 12.商品管理模块的dao层实现类开发 第十二天： 01.购物车模块的需求分析–交互层功能设计 02.购物车模块的需求分析–service层功能设计 03.购物车模块的service层–接口定义 04.购物车模块的数据模型分析设计 05.购物车模块需求分析–dao层功能设计 06.购物车模块的dao层–接口定义 07.购物车模块的service层–实现类开发 08.购物车模块的dao层和service层重构–实现了service的添加商品到购物车功能 09.购物车模块的dao层–实现类开发–添加新用户和商品项到购物车 10.购物车模块的dao层–实现类开发–根据userid和pid取购物项–以及测试 第十三天： 01.类和对象之间的关系及静态成员和非静态成员的关系 02.计算机网络通信基本概念 03.socket编程服务端程序demo编写 04.socket编程客户端程序demo编写并运行测试 05.服务端一次接收多个字节的数据改造 06.将程序改造成交互通信（只能一次交互） 07.将程序改造成多次交互通信 08.把服务端改造成可以常驻服务 09.单线程服务器的弊端 10.多线程的形象比喻解释 11.多线程的简单demo实现及相关疑问解答 12.如何向一个runnable对象中传递数据 13.利用多线程来改造上午的socket服务端程序 14.在文件中快速定位数据的设计思想–让数据有组织有规律地存储 15.写代码实现将数据按照固定长度和规则写入文件 16.在文件中快速查找数据的代码开发 17.全天知识点梳理–考试题布置 第十四天： 01.作业题讲解–根据名称查找商品的功能实现 02.作业题讲解–将数据查询功能改造成网络服务 03.作业题讲解–服务端查询数据功能测试 04.作业题讲解–服务端根据名称查询商品的功能实现和测试 05.2维数组的介绍和使用 06.2维数组的各种语法–定义–赋值–赋初值–遍历 07.三元表达式的用法 08.do-while控制语法 09.continue和break的用途区别 10.匿名内部类的使用–普通类的子类–接口的实现类 11.反射的基本语法复习 12.反射与属性配置文件的加载结合案例 13.动态代理的通俗解释和基本运作机制 14.动态代理的示例代码开发 15.RPC机制解析 16.将newBidbServer的客户端改造成rpc调用 17.day14知识梳理 第十五天： 01.动态代理和静态代理的区别联系 02.多线程的基本使用复习 03.线程安全问题出现的原因及解决思路 04.线程安全问题解决方案synchronized的使用 05.单例设计模式的两种基本写法–懒汉式–饿汉式 06.单例设计模式在考虑线程安全问题下的改造 07.json数据格式介绍 08.json解析工具gson的基本使用 09.命令行初学–javac命令–环境变量配置 10.用命令行java命令来执行一个类的main方法 11.用命令行java命令来执行一个需要用到别的类甚至别的jar包的程序 12.命令行jar命令将工程代码打成jar包 大数据24期-SpringMVC Mybatis 汽配城-8天 Mybatis第一天： 1.课程介绍 10.mybatis中类的别名定义 11.properties属性的配置 12.mapper文件的两种引入方式 2.mybatis介绍 3.原生态jdbc存在的问题 4.mybatis入门案例 5.mybatis基本增删改查案例 6.mybatis的工作原理以及开发流程 7.mybatis解决jdbc问题 8.mybatis开发原始dao和mapper代理dao 9.mapper代理开发dao的注意事项以及优势 Mybatis第二天： 1.输入映射 2.模拟用户登录案例 3.resultMap的用法 4.动态标签商品查询案例 5.动态标签模拟商品批量删除 6.商品订单模型sql 7.mybatis开发一对一查询和映射 8.mybatis开发一对多高级映射 9.mybatis逆向工程生成代码 Mybatis第三天： 1.输入映射 2.模拟用户登录案例 3.resultMap的用法 4.动态标签商品查询案例 5.动态标签模拟商品批量删除 6.商品订单模型sql 7.mybatis开发一对一查询和映射 8.mybatis开发一对多高级映射 9.mybatis逆向工程生成代码 Mybatis第四天： 1.springmvc的参数绑定 10.系统的session过滤和权限拦截的实现思路 2.get请求和post请求乱码处理 3.springmvc的高级参数绑定 4.requestmapping注解的详细使用 5.请求转发和重定向到处理器 6.图片上传的功能分析 7.springmvc实现图片上传的功能 8.json注解支持 9.Springmvc对restful的支持 Mybatis第五天： 1.springmvc***的简单例子 2.springmvc做session拦截以及session的介绍 3.复习 4.spring的IOC介绍以及入门案例 5.spring的DI案例 6.bean的三种构造方式 7.spring注解开发案例 8.常用注解的使用 Mybatis第六天： 1.ssm框架整合 2.ssm框架整合 3.登录功能 4.商品查询 5.商品删除 6.商品添加 7.商品修改 Mybatis第七天： 1.动态代理 2.反射机制复习 3.springAop的原理 4.springAop进行ssm项目的事务管理 Mybatis第八天： 1.背景介绍 2.系统的功能需求介绍（注册模块） 3.系统的功能需求介绍(企业管理模块) 4.系统的功能需求介绍(员工管理模块) 5.系统的功能需求介绍(我的货架和公共货架模块) 6.系统的功能需求介绍(询价单和历史记录模块) 7.系统的功能需求介绍(首页模块) 8.系统的数据库设计 大数据24期-03-Linux基础进阶(开发人员必备)-3天(不想做Java开发的从这开始看) 第一天： 01.为什么要学习linux 02.Linux简介 03.vmware简介&软件安装 04.Linux学习方法 05.Linux目录结构 06.Linux常用命令-文件处理命令1 07.Linux常用命令-文件处理命令2 08.文件处理命令 09.Linux帮助命令 10.常用命令总结 11.复习 12.Linux查找命令 13.压缩解压缩命令 14.系统关机命令&学习技巧 15.vim工作模式&插入命令&定位命令 16.VIM复制剪切删除命令 17.vim替换取消&搜索替换&可视化模式 18.linux网络NAT配置&远程连接 第二天： 01.复习 02.常用命令作业解答 03.linux环境配置&&磁盘管理命令&&用户管理命令 04.Linux进程管理命令 05.权限理解 06.权限修改 07.复习 08.软件包管理rpm&&yum 09.本地yum源配置 10.使用minimal安装linux 11.制作模板机&拍摄快照&克隆虚拟机 12.克隆后虚拟机配置 13.scp&&ssh&&配置免密登录 14.安装jdk 15.secure常用配置&配置yum源说明 第三天： 01.复习&&免密登录原理 02.三种网络配置 03.jdk安装复习 04.shell基础知识 05.shell脚本的创建&&shell脚本执行 06.shell变量的定义&分类 07.用户自定义变量&&环境变量 08.位置参数变量&&预定义变量 09.上午复习 10.read命令 11.shell中的运算符 12.条件测试 13.shell流程控制语句if&case&for&while 14.shell自定义函数&&shell脚本调试 15.awk命令 16.sed命令 17.定时器 18.bash常用命令 大数据24期-04-Hadoop Hive Hbase Flume Sqoop-12天 第一天：Hadoop-集群安装部署 01.大数据基本概念–课程内容介绍 02.大数据应用场景介绍 03.HDFS的整体工作机制介绍 04.HDFS集群搭建–服务器-网络配置准备 05.JDK安装和基础环境配置–环境变量–域名映射 06.HDFS集群部署启动 07.HDFS的命令行客户端基本操作–DATANODE存储文件块的观察 08.HDFS的命令行客户端常用命令演示 09.业务系统中日志生成机制和代码展示 10.HDFS的java客户端api基本使用–客户端参数加载机制深入理解 11.HDFS的不同进程使用不同参数–但写在一个文件中 12.在windows环境中开发hadoop程序需要配置的本地环境 13.HDFS的java客户端API常用操作方法的使用演示 第二天：Hadoop-HDFS工作机制 01.自开发分布式数据采集系统–系统流程设计–采集任务逻辑实现 02.自开发分布式数据采集系统–备份数据清理任务实现 03.自开发分布式数据采集系统–可配置化改造–单例设计模式的运用 04.HDFS的读文件内容的输入流使用示例–顺序读取–随机读取 05.HDFS的写数据到文件的输出流使用示例 06.HDFS版wordcount程序的开发实现–框架式开发 07.HDFS工作机制–namenode元数据管理–checkpoint 08.HDFS工作机制–客户端写数据到HDFS的流程 09.HDFS工作机制–客户端从HDFS读数据的流程 第三天：Hadoop-MapReduce与Yarn详解 01.mapreduce分布式计算框架的整体工作机制 02.用mapreduce来实现wordcount的思路设计 03.mapreduce实现wordcount的逻辑代码 04.yarn集群的功能和大体机制介绍 05.yarn集群安装启动 06.在windows系统中运行job客户端来提交mapreduce程序到yarn上去执行 第四天：Hadoop-MapReduce编程案例1 01.nodemanager资源总量配置问题–maven工程插件缺失问题 02.mapreduce数据输入输出类型的序列化问题–明确jobsubmitter只是一个用于提交mr-job的客户端工具程序 03.mapreduce编程模型和具体实现框架之间的概念关系 04.mapreduce程序提交的方式2——在集群上的机器上启动提交客户端 05.mapreduce程序提交方式3–直接在windows平台上以本地模式运行mapreduce程序 06.mapreduce本地运行debug调试观察 07.mapreduce编程中自定义类型的序列化接口实现方式 08.mapreduce编程案例–流量统计求和–自定义数据类型 09.mapreduce编程案例–页面访问次数topn的编程模型设计–treemap的使用 10.mapreduce编程案例–页面访问次数topn的实现–如何向map和reduce方法中传递外部参数 11.mapreduce编程案例–页面访问总次数的全局倒序排序 12.mapreduce编程案例–流量统计按归属地输出–设计思想–控制数据分发规则–partition 13.mapreduce编程案例–流量统计安归属地输出–代码实现–自定义Partitioner的实现 第五天：Hadoop-MapReduce编程案例2 01.mr编程案例–文档索引创建–输入切片–文件切片 02.mr编程案例–求分组topn的简单实现 03.mr编程案例–高效求分组topn的原理机制解析 04.mr编程案例–高效求分组topn的代码实现 05.mr编程案例–共同好友统计案例实现 06.mapreduce框架内部核心工作机制详解 07.mr编程案例–替换默认的文本输入输出组件为sequence文件输入输出组件 第六天：Hadoop-Zookeeper详解 01.mapreduce编程模型–及hadoop中的具体实现框架–复习 02.mapreduce编程案例–join算法的代码实现 03.mapreduce数据倾斜–利用Combiner组件 maptask端局部聚合数据来减轻倾斜影响 04.mapreduce编程案例–数据倾斜的通用解决方案–打散倾斜的key 05.mapreduce程序在yarn上的运行过程实验观察 06.hadoop-HA机制整体解析–引入zookeeper 07.zookeeper快速上手–功能总结 08.zookeeper应用场景举例–服务器上下线动态感知–配置文件同步管理 09.zookeeper集群安装部署–自动批量启动脚本编写 10.zookeeper命令行客户端的功能测试 11.zookeeper的数据节点类别–短暂–持久–带序号 12.zookeeper的java客户端api基本功能操作示范 13.zookeeper的java客户端api的监听功能代码示范 14.zookeeper的客户端工作线程–sendThread–eventThread-守护线程 15.利用zookeeper开发分布式应用系统案例–服务端实现 16.利用zookeeper开发分布式应用系统案例–客户端实现–运行测试 第七天：Hadoop-HA-Hive安装部署与HQL 01.hadoop的HA机制原理解析 02.hadoop的HA集群搭建示范 03.hadoop的HA集群的客户端编程注意点 04.hive的基本功能机制和概念 05.mysql的安装详细步骤 06.hive的安装和基本使用 07.hive 08.hive的脚本化运行使用方式 09.hive的基本语法–建表语法 10.hive的基本语法–内部表和外部表 11.hive的基本语法–CTAS建表 12.hive的基本语法–数据导入–从本地–从hdfs 第八天：Hadoop-Hive函数与HQL详解 01.hive查询语法–基本查询–条件查询–关联查询 02.hive查询语法–分组聚合–groupby查询–where过滤和having过滤的区别 03.hive查询语法–子查询 04.hive数据类型–复合类型–array数组类型的使用 05.hive数据类型–复合类型–map类型的使用 06.hive数据类型–复合类型–struct结构类型的使用 07.hive内置函数–类型转换cast–数学运算函数 08.hive内置函数–时间-日期-字符串–函数 09.hive内置函数–表生成函数–行转列explode–lateral-view 10.hive-day01-作业题 第九天：Hadoop-Hbase安装部署与详解 01.hive内置函数–集合函数–条件控制函数 02.hive内置函数–窗口分析函数–row_number_over 03.hive窗口分析函数–应用场景–累积报表–用传统方法实现 04.hive窗口分析函数–累积报表–用sum-over函数实现 05.hive中如何自定义函数–json解析函数示例 06.hive中的json解析函数–json-tuple 07.日新-日活用户统计sql开发–shell脚本 08.hbase基本概念介绍–数据库–nosql数据库 09.hbase的核心特性–基于hdfs-分布式数据管理–表结构 10.hbase的整体工作机制–集群角色功能介绍–存储机制 11.hbase集群搭建–及其各种机制的观察–hdfs中的目录–zookeeper中的状态数据 12.hbase客户端读写数据时的路由流程 13.hbase的工作机制补充–regionserver数据管理–内存缓存热数据–持久化到hdfs的观察 14.hbase中判断数据是否在一个持久化文件中的机制–布隆过滤器 15.hbase的java客户端操作–表定义管理 第十天：Hadoop-Flume安装部署与Hbase结合使用案例 01.hbase客户端编程DML-数据插入 02.hbase客户端编程DML–get查询数据 03.hbase客户端编程DML–范围查询–scan 04.hbase应用综合练习题 05.flume概念介绍及工作机制解释 06.flume的安装–解压即可 07.flume采集配置案例–采集目录中的新文件到HDFS中–配置详解 08.flume采集配置案例–采集文件新增内容到HDFS 09.flume采集配置案例–多级agent串联 10.hadoop离线分析项目案例–app后台数据分析整体架构-流程-说明 11.hadoop离线分析项目案例–数据预处理需求说明 第十一天：Hadoop-App数据分析与日活跃用户统计 01.app数据分析–预处理程序开发 02.app数据分析–预处理程序继续改造 03.app数据分析–预处理程序的脚本开发和启动测试 04.app数据分析–日活用户统计开发 05.app数据分析–日新用户统计开发 06.app数据分析–日新用户维度报表统计 第十二天：Hadoop-app-sqoop 01.flume中的sink-batchsize和channel的transactionCapacity大小之间的注意点 02.app数据统计分析案例–次日留存用户统计分析 03.app数据统计分析案例–版本升级轨迹信息抽取 04.sqoop的基本概念–安装-测试 05.利用sqoop将mysql中的数据导入hdfs和hive 06.利用sqoop将hdfs和hive中的数据导出到mysql 07.app数据统计–hive报表迁移到mysql–充分注意编码统一 08.hadoop-mapreduce编程考试题需求说明 09.java基础拾遗–类的加载和对象的构造过程 10.java基础拾遗–匿名内部类的应用–实现scala中的集合map方法 11.java基础拾遗–匿名内部类语法详解 大数据24期-05-ElasticSearch-2天 第一天： 01全文检索概念 02Lucene的API介绍 03Lucene的API介绍 04Lucene的API介绍和IK分词器 05Lucene的API介绍-复杂查询 06ElasticSearch简介 07ES和Solr的对比 08CentOS7的安装 09CentOS7的特殊命令 10keepalived说明 11虚拟keepalived的ip配置 12Echarts的使用 13echart读取后端的数据 14百度地图热点图的使用 第二天： 01ES的简介 02ES集群安装 03ES的REST风格API 04ES的REST风格查询API 05ES的Head插件安装-1 06ES的Head插件安装-2 07ES的ik分词器插件安装 08ES的JavaAPI-1 09ES的JavaAPI-2 10ES的JavaAPI创建Mapping 11ES的Java聚合查询-1 12ES的Java聚合查询-2 13ES的SQL插件 大数据24期-06-Spark安装部署到高级-10天 第一天：spark-01-安装部署环境搭建 01Spark简介 02spark安装包下载 03spark集群安装-1 04spark集群安装-2 05spark高可用集群安装-1 06spark高可用集群安装-2 07提交第一个spark程序 08spark shell运行wordcount 09spark任务执行流程简介 10Yarn和spark的对比 11在idea中用scala编写WordCount 12在idea中用java编写WordCount 13在idea中用java lambda编写WordCount 14本地调试spark程序 第二天：spark-02-Rdd介绍与使用 01RDD简介 02RDD介绍 03创建RDD的方式 04RDD的Transformation-1 05RDD的Transformation-2 06RDD的分区数量 07HDFS读取数据分区的数量 08mapParitionWithIndex 09RDD的aggregate方法 10RDD的AggregateByKey方法 11collect方法执行过程说明 12foldByKey方法 13foreach和foreachPartition 14作业和总结 第三天：spark-03-TopN与WordCount执行过程详解 01RDD复习 02CombineByKey方法 03最受欢迎老师 04每个学科最受欢迎老师TopN-1 05每个学科最受欢迎老师TopN-2（过滤多次提交） 06每个学科最受欢迎老师TopN-3（自定义分区器） 07每个学科最受欢迎老师TopN-1（减少shuffle） 08WordCount执行过程详解-1 09WordCount执行过程详解-2 第四天：spark-04-Spark案例讲解 01回顾 02RDD的cache 03cache部分数据 04cache的补充说明 05RDD的checkpoint机制 06根据ip计算归属地的需求 07单机程序计算ip归属地 08广播变量 09广播变量的使用 10根据IP地址计算归属地实现-1 11根据IP地址计算归属地实现-2 12将数据写入到MySQL中 第五天：spark-05-自定义排序与切分Stage 01内容回顾 02自定义排序-1 03自定义排序-2 04自定义排序-3 05自定义排序-4 06自定义排序-5 07JDBC RDD 08JDBC RDD使用注意事项 09Spark执行过程简介 10构建DAG 11切分Stage过程-1 12切分Stage过程-2 13切分Stage过程-3 14切分Stage过程-4 15线程池介绍 16序列化复习 17Spark整体执行流程 18SparkCore阶段总结 第六天：spark-06-spark SQL简介与案例详解1 01复习 02复习 03序列化问题 04函数中引用一个Driver端的一个类的实例 05函数中引用一个Driver端的一个objec1 06在EXecutor中初始化一个object 07一个Executor中多个Task的多线程问题 08spark SQL简介~1 08spark SQL简介~2 09sparkSQL1.x案例-1~1 10sparkSQL1.x案例-2 11sparkSQL1.x案例-3 12sparkSQL2.x案例-1 13spark2.x的sql方式的wordcount 14spark2.x DataSet方式的api 第七天：spark-07-spark SQL案例详解2 01复习-01 02复习-02 03spark sql的join 04dataframe的join 06用SQL根据IP地址计算归属地 07使用广播变量实现mapsidejoin 08几何平均数说明 09自定义聚合函数 10Dataset介绍 11spark2.0的特性 12sparkSQL的JDBC数据源 13写入多种文件格式 14json数据源 15csv数据源 16parquet数据源 第八天：spark-08-SparkStraming简介与kafka0.8集群安装 01sparkSQL补充 02sparkSQL的join-1 03sparkSQL的join-2 04spark整合hive 05spark整合hive 06实时计算介绍 07SparkStraming简介 08实时计算架构简介 09kafka相关概念介绍 10kafka0.8集群安装 11kafka的java api 第九天：spark-09-Kafka分区、DStream与直连方式实现 01复习0 02Kafka分区的相关知识 03sparksteaming原理简介 04DSteam简介 05第一个sparkSteaming程序 06sparkSteaming程序整合kafka 07可以更新状态累加的WordCount 08深入理解DStream 09DStream深入理解 10Receiver方式和直连方式介绍 11直连方式实现-1 12直连方式实现-2 13直连方式实现-3 第十天：spark-10-Redis与SparkSteaming 01复习 02Redis介绍 03Redis基本使用 04Redis连接池 05sparkSteaming程序计算多个指标 06sparkSteaming执行过程说明 07计算省份成交量 08sparkSteaming程序综合测试 09spark-on-yarn-01 10spark-on-yarn-02 大数据24期-07-Scala基础到高级-共5天 第一天：day01-Scala简介与基本语法 01.Scala语言的特点 02.Scala SDK的安装说明 03.Windows下安装Scala SDK 04.Idea中创建一个Scala工程 05.Scala 函数编程—wordCount 06.变量定义及条件表达式 07. 回顾及补充if会返回值问题 08.循环语句for及yield关键字 09.运算符重载成方法 10.Scala中定义方法和函数 11.传值调用和传名调用 第二天：参数、函数、集合、数组 01.回顾 02.可变参数 03.参数的默认值 04.高阶函数 05.部分参数应用函数 06.柯里化函数 07.偏函数 08.数组的map-flatten-flatMap-foreach操作及wordCount 09.下午回顾 10.集合的常用操作 11.Set Map 元组的使用 第三天：类的成员详解 01.回顾 02.Scala中的object对象及apply方法 03.Scala中类的定义及构造器的使用 04.Scala类的构造器访问权限 05.Scala类的成员属性访问权限 06.Scala中的类的访问权限（可见性） 07.Scala中的伴生对象 08.下午回顾 09.Scala中的并行化集合 10.Scala 特质 Trait定义使用 11.Scala中混入特质的两种方式 12.Scala中得抽象类abstract 13.Scala中得final和type 14.Scala中样例类和样例对象 15.继承时的一些问题 16.Scala中得模式匹配—match case 第四天：Akka Actor介绍 01.Akka Actor介绍 01.回顾 02.Actor工作机制 03.Actor与Actor之间传递消息机制 04.案例–HelloActor 05.龙哥大战峰哥—乒乓球—Actor 06.edu智能机器人答疑—服务端和客户端交互 07.服务端客户端消息传递详解 08.Spark Master和worker通信过程概述 第五天：Spark底层通信与Scala隐式 01.回顾 02.Spark底层通信—Worker向Master注册自己 03.Spark底层通信—Master存储Worker注册过来的数据 04.Spark底层通信—Woker启动一个调度器定期向master发送心跳 05.Spark底层通信—Master收到心跳信息后更新心跳时间并删除超时worker 06.启动Master和worker本机测试 07.master worker打包部署到linux多态服务测试 08.Scala中的隐式参数 09.Scala中的隐式的歧义性 10.Scala中的隐式类型转换—File—RichFile 11.Scala中的隐式类 12.Scala中的泛型 13.Java中的Comparable–Comparator和Scala中的Ordered–Ordering 14.Scala中的上界–upper bounds 15.Scala中的视图界定–view bounds 16.Scala中的上下文界定–context bounds 17.上界下界的图解说明 大数据24期-共享单车项目-8天 第一天：共享单车项目-1-项目简介微信小程序 01kafka集群问题 02项目介绍-1 03项目介绍-2 04项目涉及的技术 05微信小程序演示 06创建微信小程序 07微信小程序显示地图 08微信小程序添加事件 09后台程序说明 10SpringBoot简介 11编写SpringBoot单车后台web项目 12后台web项目和微信小程序联调 第二天：共享单车项目-2-Mongodb统计UV-PV 01mongo简介 02mongo的安装 03设置mongo的用户名和密码 04mongo的基本操作 05mongodb的基本操作 06后台管理页面 07向mongo中记录log数据 08统计pv和uv指标 第三天：共享单车项目-3-Nginx负载均衡 01项目总体架构 02nginx的简介和安装 03nginx配置负载均衡 04nginx安装kafka插件 05小程序对接nginx-kafka 第四天：共享单车项目-4-Flume与Kafka 01flume知识回顾 02自定义可记录偏移量的TailFileSouce-1 03自定义可记录偏移量的TailFileSouce-2 04自定义可记录偏移量的TailFileSouce-3 05KafkaChannel介绍 06KafkaChannel的使用方式 07KafkaChannel的具体使用 08自定义*** 09更好用的TailDirSouce 第五天：共享单车项目-5-短信验证与充值业务 01flume问题回顾 02共享单车业务流程介绍 03短信验证业务流程 04短信验证代码实现 05注册交押金身份认证代码实现 06充值业务实现 07短信代码缺少依赖解决 08腾讯地图短信api 09记录充值行为日志 第六天：共享单车项目-6-Flume与Kafka充值、短信指标 01flume数据采集架构 02将kafka中的数据同步到hdfs中 03充值相关指标介绍 04活动参与相关指标 第七天：共享单车项目-7-查找附近的单车实现与Redis集群部署 01springboot的mongodb相关注解 02springboot的mongodb的geo注解使用 03查找附近的单车实现-1 04查找附近的单车实现-2 05查找附近的单车实现-3 06redis集群架构简介 07redis集群配置-1 08redis集群配置-2 09redis集群测试 第八天：共享单车项目-8-报修与骑行 01报修和骑行模块 02mongodb集群介绍 03mongodb分片和副本集介绍 04mongodb集群安装-1 05mongodb集群安装-2 05spark整合mongodb集群 06springboot整合mongodb集群 07mycat介绍 08mycat安装-1 09mycat安装-2 10指标说明和作业
    • 643